Trong những năm trước Thế chiến II Hải quân Đế quốc Nhật Bản bắt đầu cơ cấu lại lực lượng một cách rõ rệt để đối đầu với Hoa Kỳ. Một quãng dài với sự bành trướng chủ nghĩa quân phiệt và sự khởi đầu của Chiến tranh Thanh-Nhật lần thứ 2 năm 1937 đã tách Hoa Kỳ ra, và Hoa Kỳ đã được xem như là một đối thủ của Nhật Bản.

Hōshō, chiếc đầu tiên trên thế giới được thiết kế từ đầu theo mục đích tàu sân bay, hoàn thành năm 1922

Hải quân Đế quốc Nhật Bản đã phải đối mặt với những thách thức đáng kể trong thời kỳ trước và trong Thế chiến II, có lẽ nhiều hơn so với bất cứ hải quân quốc gia nào khác trên thế giới[15]. Nhật, giống như Anh, hầu như bị phụ thuộc hoàn toàn vào tài nguyên nước ngoài để cung cấp cho nền kinh tế. Để đạt được các chính sách bành trướng của mình, Hải quân Đế quốc Nhật Bản đã phải xác lập và bảo vệ các nguồn nguyên liệu thô ở nơi xa xôi (đặc biệt là các nguyên liệu thô và dầu mỏ ở Đông Nam Á), đang thuộc quyền kiểm soát của nước ngoài (Anh, Pháp và Hà Lan). Để đạt được mục tiêu này, Nhật phải đóng các tàu chiến lớn có thể hoạt động tầm xa.

Điều này xung đột với học thuyết "hạm đội quyết chiến" (艦隊決戦, Kantai Kessen không đòi hỏi tầm xa)[1], theo cách đó Hải quân Nhật sẽ cho phép tàu Mỹ băng qua Thái Bình Dương, sử dụng tàu ngầm để làm suy yếu nó, sau đó giao chiến với Hải quân Mỹ trong một "khu vực quyết chiến", gần Nhật Bản, sau khi đã chịu tiêu hao trên đường đi[16]. Đó là do ảnh hưởng của học thuyết do Alfred T. Mahan đề ra, mà tất cả các lực lượng hải quân chủ yếu trên thế giới trước Thế Chiến II đều công nhận, trong đó nó cho là chiến tranh được quyết định trong các trận đối đầu giữa các hạm đội mặt nước[17] (như đã từng xảy ra trong cả 300 năm nay). Nó là căn cứ để Nhật Bản đòi hỏi một tỉ lệ 70% (10:10:7) so với hai đại cường Anh Mỹ tại Hội nghị Hải quân Washington, mà điều đó sẽ cho Nhật Bản một ưu thế trong "khu vực quyết chiến", trong khi Mỹ nhấn mạnh một tỉ lệ 60%, có nghĩa là cân bằng[16]. Hải quân Đế quốc Nhật Bản, không giống hải quân nước khác, vẫn tiếp tục gắn bó với học thuyết này, ngay cả sau khi nó bộc lộ sự lỗi thời.

Nó cũng mâu thuẫn với kinh nghiệm trong quá khứ. Sự yếu kém về số lượng và nền công nghiệp khiến họ phải đi tìm một ưu thế về mặt kỹ thuật (có ít tàu hơn, nhưng nhanh và mạnh hơn), ưu thế chất lượng (huấn luyện tốt hơn), và chiến thuật xâm lấn (tấn công nhanh chóng và liều lĩnh áp đảo đối phương, một công thức rất thành công trong các cuộc xung đột trước đây). Nó đã sai lầm khi không nhận thấy rằng các đối thủ tương lai tại Mặt trận Thái Bình Dương không bị những áp lực chính trị và địa lý như những đối thủ trước đây; và nó cũng không được phép mất những tàu chiến và nhân lực của nó.[18]

Đại úy Sempill đang trình bày chiếc Sparrowhawk cho Đô đốc Togo Heihachiro, 1921.

Những năm giữa hai cuộc đại chiến, Nhật Bản dẫn đầu trong nhiều lĩnh vực phát triển hải quân:

• Năm 1921, hạ thủy Hōshō, chiếc đầu tiên trên thế giới được thiết kế từ đầu theo mục đích tàu sân bay[19] và sau đó phát triển một đội tàu sân bay độc nhất vô nhị trên thế giới.
• Theo sát với học thuyết tàu lớn của nó, Hải quân Đế quốc là lực lượng hải quân đầu tiên trên thế giới trang bị pháo 356 mm (14 in) (trên chiếc Kongō), pháo 406 mm (16 in) (trên chiếc Nagato), và là lực lượng hải quân duy nhất trên thế giới trang bị pháo 460 mm (18,1 in) cho lớp Thiết giáp hạm Yamato.
• Năm 1928, nó cho hạ thủy một hạng tàu khu trục cải tiến, lớp Fubuki, được trang bị tháp pháo hoàn toàn kín có gắn cặp pháo 5-inch có khả năng chống máy bay. Thiết kế hạng tàu khu trục mới này nhanh chóng được các lực lượng hải quân khác bắt chước. Lớp Fubuki cũng được trang bị ống phóng ngư lôi kín đầu tiên chống được mảnh đạn.[20]
• Nhật Bản cũng phát triển kiểu ngư lôi Kiểu 93 610 mm (24 in) có nạp oxy, được xem là kiểu ngư lôi tốt nhất thế giới cho đến tận cuối Thế Chiến II[21].

Đến năm 1921, chi tiêu dành cho hải quân của Nhật Bản đã đạt đến gần 32% ngân sách quốc gia. Đến năm 1941, Hải quân Đế quốc sở hữu 10 thiết giáp hạm, 10 tàu sân bay, 38 tàu tuần dương (hạng nặng và hạng nhẹ), 112 tàu khu trục, 65 tàu ngầm, và một số lượng lớn tàu phụ trợ[3].

Đô đốc Togo Heihachiro cùng các thành viên trong Phái bộ Quân sự Pháp tại Nhật Bản (1918-1919) tại Gifu.

Trong giai đoạn này Nhật Bản tiếp tục chính sách thu hút các chuyên viên nước ngoài trong các lĩnh vực mà Hải quân Đế quốc không có kinh nghiệm, như không lực trong hải quân. Năm 1918 Nhật Bản mời một Phái bộ Quân sự Pháp gồm 50 thành viên, kèm theo nhiều kiểu máy bay mới nhất, nhằm tạo dựng nền tảng cho lực lượng không quân trong Hải quân Nhật Bản. Chúng bao gồm các kiểu Salmson 2A2, Nieuport, Spad XIII, hai chiếc Breguet XIV, cũng như các khí cầu Caquot. Năm 1921, Nhật Bản mời Phái bộ Sempill và lưu họ lại trong một năm rưỡi. Nhóm chuyên viên Anh này huấn luyện và cố vấn cho Hải quân Đế quốc nhiều kiểu máy bay mới như chiếc Gloster Sparrowhawk, và nhiều kỹ thuật mới như ném ngư lôi và kiểm soát bay.

Trong những năm trước chiến tranh, hai trường phái đã tranh luận về quan điểm nên xây dựng lực lượng chung quanh những chiếc thiết giáp hạm mạnh mẽ, chắc chắn có khả năng đánh bại tàu Mỹ trong vùng biển Nhật hay dựa trên những tàu sân bay. Không phái nào chiếm ưu thế nên cả hai dòng tàu đều được phát triển, và hậu quả là không giải pháp nào chứng tỏ sức mạnh vượt trội hơn đối thủ Hoa Kỳ. Một điểm yếu cố hữu trong sự phát triển tàu chiến Nhật là xu hướng kết hợp thật nhiều hỏa lực và công suất máy tàu so với kích thước của nó (hậu quả của những giới hạn trong Hiệp ước Washington), đưa đến yếu kém trong độ ổn định, bảo vệ và độ bền kết cấu tàu[15]. Đây thực sự là thất bại của các nhà kiến trúc hải quân Nhật, phản ảnh sự yếu kém nhất định trong công nghiệp và kỹ thuật.